草庐IT

Java ElasticSearch Client 选型

全部标签

JuiceFS 元数据引擎选型指南

文件系统是我们常见的存储形式,内部主要由数据和元数据两部分组成。其中数据是文件的具体内容,通常会直接展现给用户;而元数据是描述数据的数据,用来记录文件属性、目录结构、数据存储位置等。一般来说,元数据有非常鲜明的特点,即占用空间较小,但访问非常频繁。当今的分布式文件系统中,有的(如S3FS)会将元数据和数据统一管理,以简化系统设计,不过这样的弊端是某些元数据操作会让用户感受到明显的卡顿,如ls大目录,重命名大文件等。更多的文件系统会选择将这两者分开管理,并根据元数据的特点进行针对性优化。JuiceFS采用的就是这种设计,其架构图如下:其中,元数据引擎需要是能够支持事务操作的数据库,而数据引擎一般

JuiceFS 元数据引擎选型指南

文件系统是我们常见的存储形式,内部主要由数据和元数据两部分组成。其中数据是文件的具体内容,通常会直接展现给用户;而元数据是描述数据的数据,用来记录文件属性、目录结构、数据存储位置等。一般来说,元数据有非常鲜明的特点,即占用空间较小,但访问非常频繁。当今的分布式文件系统中,有的(如S3FS)会将元数据和数据统一管理,以简化系统设计,不过这样的弊端是某些元数据操作会让用户感受到明显的卡顿,如ls大目录,重命名大文件等。更多的文件系统会选择将这两者分开管理,并根据元数据的特点进行针对性优化。JuiceFS采用的就是这种设计,其架构图如下:其中,元数据引擎需要是能够支持事务操作的数据库,而数据引擎一般

开源数据资产(元数据)管理平台选型对比

0、前言尽管数据行业的新词热度,由大数据平台->数据治理->数据中台->数字化转型(现代数据技术栈)转换,做为这些新词的基础组成部分,数据资产管理平台/元数据管理平台/数据目录管理平台等技术方案,依旧处于Gartner曲线的爬升恢复期,相关平台百花齐放,一统江湖的开源平台或者商用产品还没出现,在推进企业数字化转型落地过程中,实现数据治理、数据资产管理平台/元数据管理平台/数据目录管理平台的选型,依旧是一项考验人能力的活。一、Atlas开源地址:https://github.com/apache/atlasAtlas最早由大数据平台三驾马车(Cloudera,Hortonworks,MapR)之

开源数据资产(元数据)管理平台选型对比

0、前言尽管数据行业的新词热度,由大数据平台->数据治理->数据中台->数字化转型(现代数据技术栈)转换,做为这些新词的基础组成部分,数据资产管理平台/元数据管理平台/数据目录管理平台等技术方案,依旧处于Gartner曲线的爬升恢复期,相关平台百花齐放,一统江湖的开源平台或者商用产品还没出现,在推进企业数字化转型落地过程中,实现数据治理、数据资产管理平台/元数据管理平台/数据目录管理平台的选型,依旧是一项考验人能力的活。一、Atlas开源地址:https://github.com/apache/atlasAtlas最早由大数据平台三驾马车(Cloudera,Hortonworks,MapR)之

状态机的技术选型看这篇就够了,最后一个直叫好!!!

前言今天跟大家分享一个关于“状态机”的话题。状态属性在我们的现实生活中无处不在。比如电商场景会有一系列的订单状态(待支付、待发货、已发货、超时、关闭);员工提交请假申请会有申请状态(已申请、审核中、审核成功、审核拒绝、结束);差旅报销单会有单据审核状态(已提交、审核中、审核成功、退回、打款中、打款成功、打款失败、结束)等等。上述场景有一个共同问题:根据不同触发条件执行不同处理动作最后落地不同的状态。示例代码如下:Integerstatus=0;    if(condition1){        status=1;    }else if(condition2){        status=

状态机的技术选型看这篇就够了,最后一个直叫好!!!

前言今天跟大家分享一个关于“状态机”的话题。状态属性在我们的现实生活中无处不在。比如电商场景会有一系列的订单状态(待支付、待发货、已发货、超时、关闭);员工提交请假申请会有申请状态(已申请、审核中、审核成功、审核拒绝、结束);差旅报销单会有单据审核状态(已提交、审核中、审核成功、退回、打款中、打款成功、打款失败、结束)等等。上述场景有一个共同问题:根据不同触发条件执行不同处理动作最后落地不同的状态。示例代码如下:Integerstatus=0;    if(condition1){        status=1;    }else if(condition2){        status=

还在纠结报表工具的选型么?来看看这个

数据信息化的应用与项目中,通常都会遇到报表需求,数量少的,零星需要做的,可能手工就搞定了,数量多的,长期做的,基本都会选用一个报表工具,因为长期做,就必须考虑成本了,找一个称手的工具来降本增效是非常重要的报表工具有那么多,那就得选型,选起来复杂就会纠结,选起来简单就没什么纠结的了比如想选一台二手车,这事情就很复杂,很难,得找懂车的人来选,发动机功能好不好,漏不漏油,有没有出过事故,各部位的情况都得考察到才可以,还得了解价格行情,这样的选型就会很纠结,因为它选起来太复杂了,稍有不慎就可能花了冤枉钱了再比如想选个手机,这事情就很简单,直接各电商旗舰店挑个看着顺眼的再看看价格是否可接受就可以了,这样

还在纠结报表工具的选型么?来看看这个

数据信息化的应用与项目中,通常都会遇到报表需求,数量少的,零星需要做的,可能手工就搞定了,数量多的,长期做的,基本都会选用一个报表工具,因为长期做,就必须考虑成本了,找一个称手的工具来降本增效是非常重要的报表工具有那么多,那就得选型,选起来复杂就会纠结,选起来简单就没什么纠结的了比如想选一台二手车,这事情就很复杂,很难,得找懂车的人来选,发动机功能好不好,漏不漏油,有没有出过事故,各部位的情况都得考察到才可以,还得了解价格行情,这样的选型就会很纠结,因为它选起来太复杂了,稍有不慎就可能花了冤枉钱了再比如想选个手机,这事情就很简单,直接各电商旗舰店挑个看着顺眼的再看看价格是否可接受就可以了,这样

Redis 异步客户端选型及落地实践

作者:京东科技王晨Redis异步客户端选型及落地实践可视化服务编排系统是能够通过线上可视化拖拽、配置的方式完成对接口的编排,可在线完成服务的调试、测试,实现业务需求的交付,详细内容可参考:https://mp.weixin.qq.com/s/5oN9JqWN7n-4Zv6B9K8kWQ。为了支持更加广泛的业务场景,可视化编排系统近期需要支持对缓存的操作功能,为保证编排系统的性能,服务的执行过程采用了异步的方式,因此我们考虑使用Redis的异步客户端来完成对缓存的操作。Redis客户端Jedis/LettuceRedis官方推荐的Redis客户端有Jedis、Lettuce等等,其中Jedis是

Redis 异步客户端选型及落地实践

作者:京东科技王晨Redis异步客户端选型及落地实践可视化服务编排系统是能够通过线上可视化拖拽、配置的方式完成对接口的编排,可在线完成服务的调试、测试,实现业务需求的交付,详细内容可参考:https://mp.weixin.qq.com/s/5oN9JqWN7n-4Zv6B9K8kWQ。为了支持更加广泛的业务场景,可视化编排系统近期需要支持对缓存的操作功能,为保证编排系统的性能,服务的执行过程采用了异步的方式,因此我们考虑使用Redis的异步客户端来完成对缓存的操作。Redis客户端Jedis/LettuceRedis官方推荐的Redis客户端有Jedis、Lettuce等等,其中Jedis是